Asymptotic Risk Calibration for Selective Question Answering
选择性问答的渐近风险校准
🧭 LLM 不确定性校准与选择性拒答
Zhangjiang University · Ibaraki University
模型无关的事后校准框架，为LLM选择性问答提供渐近错误率控制，无需训练即可搭配任意不确定性估计器
📌 工作参考价值（4 点）
- 在电商客服、商品问答、搜索摘要等场景，当LLM输出需要保障准确率时，可借鉴A-CRC-QA的事后校准思路，在验证集上对不确定性分数进行单调化校准，获得满足目标错误率的动态拒答阈值，而不是拍脑袋固定阈值。
- 方法模型无关、无需训练，可与多种不确定性估计（如语义一致性、perplexity、self-consistency）结合，非常适合快速集成到现有LLM服务中，以最小成本提高输出可靠性。
- 对于推荐/搜索中的Agent决策（如自动生成推荐解释、选品理由），可应用类似风险控制，对Agent最终输出进行选择性过滤，降低向用户展示错误信息的概率，并量化控制风险。
- 注意方法针对渐近控制，工程上需积累足够校准集并定期更新阈值，以应对数据分布漂移。